Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis
知识综合评审框架：多源证据综合LLM系统的任务级基准测试
🧭 LLM证据综合任务级评测与路由
Toronto Metropolitan University · Queen's University · Stellenbosch University
提出KSR人机协同框架，将证据综合拆解为筛选、抽取、分析、综合四任务并基准测评与路由，无单一系统全任务领先
📌 工作参考价值（4 点）
- 将复杂智能流程拆解为可独立评测的子任务（筛选/抽取/分析/综合），再按任务挑选最优模型或系统路由，可迁移到电商平台的商品评论分析、竞品报告生成、广告素材合规筛查等多源文档处理场景。
- 建立人工标注金标并报告 inter-rater reliability（如 Kappa=0.80）作为 LLM 效果上限参考，同时做数据污染检查，可避免模型评测被训练集泄漏或过度拟合金标误导。
- 多源异构信息（电商评论、社媒、政策、行业报告）的综合分析中，采用任务路由而非单一模型端到端生成，能暴露单源视角的盲点，例如论文发现 worker well-being、small firms、Global South 等跨源不对称问题，对市场洞察和风险识别有参考价值。
- 在业务中构建 LLM 驱动的知识管理或研究助手时，可借鉴其 human-in-the-loop 治理思路：将专家验证嵌入每个任务节点，保持流程透明可审计，降低模型在推理分析类任务上的不可控输出风险。